样式迁移

Note

样式迁移需要两张输入图像,一张是内容图像,一张样式图像,我们将使用神经网络修改内容图像,使其在样式上接近样式图像。

image

方法

首先,初始化合成图像,例如将其初始化为内容图像。该合成图像是样式迁移中唯一需要更新的变量,即模型的参数。

然后,我们选择一个预训练的卷积神经网络来抽取图像的特征,其中的模型参数在训练中无须更新。

下图中第二层输出内容特征,第一层和第三层输出样式特征。

接下来,通过正向传播(实线箭头)计算样式迁移的损失函数,并通过反向传播(虚线箭头)迭代模型参数,即不断更新合成图。

样式迁移的损失函数由三部分组成:1.内容损失,2.样式损失,3.有助于减少合成图中噪点的总变差损失。

image